Itō là con nuôi của Hayashi Jūzō (林十蔵 - Lâm Thập Tạng), một samurai thuộc tầng lớp thấp từ Hagi, phiên Chōshū (長州 Trường Châu) (hiện nay thuộc tỉnh Yamaguchi). Ông theo học Yoshida Shoin (吉田松陰 - Cát Điền Tùng Am) tại Shoka Sonjuku và sau này gia nhập phong trào Sonnō joi (尊皇攘夷 - Tôn hoàng nhương di), cùng với Kido Takayoshi (木戸孝允 - Mộc Hộ Hiếu Doãn). Itō được chọn là một trong nhóm Chōshū ngũ kiệt học tập tại Đại học London vào năm 1863, và kinh nghiệm của ông ở Anh đã làm ông vững tin sự cần thiết phải đi theo con đường của phương Tây của Nhật Bản.

Vào năm 1864, Itō quay lại Nhật Bản cùng với bạn học là Inoue Kaoru, cố gắng khuyến cáo phiên tộc Chōshū không nên gây chiến với các thế lực nước ngoài (Trận đánh bom Shimonoseki) về quyền được đi qua Eo biển Shimonoseki. Vào lúc đó, ông gặp Ernest Satow lần đầu tiên, sau này trở thành một người bạn lâu năm.